动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

Wearable sensors for measuring head kinematics can be noisy due to imperfect interfaces with the body. Mouthguards are used to measure head kinematics during impacts in traumatic brain injury (TBI) studies, but deviations from reference kinematics can still occur due to potential looseness. In this study, deep learning is used to compensate for the imperfect interface and improve measurement accuracy. A set of one-dimensional convolutional neural network (1D-CNN) models was developed to denoise mouthguard kinematics measurements along three spatial axes of linear acceleration and angular velocity. The denoised kinematics had significantly reduced errors compared to reference kinematics, and reduced errors in brain injury criteria and tissue strain and strain rate calculated via finite element modeling. The 1D-CNN models were also tested on an on-field dataset of college football impacts and a post-mortem human subject dataset, with similar denoising effects observed. The models can be used to improve detection of head impacts and TBI risk evaluation, and potentially extended to other sensors measuring kinematics.

心室心动过速（VT）可能是全世界425万人心脏死亡的原因之一。治疗方法是导管消融，以使异常触发区域失活。为了促进和加快消融过程中的定位，我们提出了基于卷积神经网络（CNN）的两种新型定位技术。与现有方法相反，例如使用ECG成像，我们的方法被设计为独立于患者特异性的几何形状，直接适用于表面ECG信号，同时还提供了二元透射位置。一种方法输出排名的替代解决方案。可以在通用或患者的几何形状上可视化结果。对CNN进行了仅包含模拟数据的数据集培训，并在模拟和临床测试数据上进行了评估。在模拟数据上，中值测试误差低于3mm。临床数据上的中位定位误差低至32mm。在所有临床病例中，多达82％的透壁位置被正确检测到。使用排名的替代溶液，在临床数据上，前3个中值误差下降到20mm。这些结果证明了原理证明使用CNN来定位激活源，而无需固有的患者特定的几何信息。此外，提供多种解决方案可以帮助医生在多个可能的位置中找到实际激活源。通过进一步的优化，这些方法具有加快临床干预措施的高潜力。因此，他们可以降低程序风险并改善VT患者的结局。

心脏磁共振（CMR）序列随着时间的推移可视化心脏功能的体素。同时，基于深度学习的可变形图像注册能够估计离散的向量字段，这些矢量字段将CMR序列的一个时间步骤扭曲为以下方式，以一种自我监督的方式。但是，尽管这些3D+T向量领域中包含的信息来源丰富，但标准化的解释具有挑战性，到目前为止，临床应用仍然有限。在这项工作中，我们展示了如何有效使用可变形的矢量场来描述心脏周期的基本动态过程，形式是派生的1D运动描述符。此外，基于收缩或放松心室的预期心血管生理特性，我们定义了一组规则，可以鉴定五个心血管阶段，包括末端 - 末端（ES）和末端diastole（ED），而无需使用标签的使用情况。我们评估了运动描述符在两个具有挑战性的多疾病， - 中心， - 扫描式短轴CMR数据集上的合理性。首先，通过报告定量措施，例如提取相的周期性框架差异。其次，通过定性地比较一般模式，当我们时间重新样本和对齐两个数据集的所有实例的运动描述符时。我们方法的ED，ES密钥阶段的平均周期框架差为0.80 \ pm {0.85} $，$ 0.69 \ pm {0.79} $，比观察者间的可变性略好（$ 1.07 \ pm {0.86} $， $ 0.91 \ pm {1.6} $）和监督基线方法（$ 1.18 \ pm {1.91} $，$ 1.21 \ pm {1.78} $）。代码和标签将在我们的GitHub存储库中提供。 https://github.com/cardio-ai/cmr-phase-detection

机器人系统的长期自主权隐含地需要可靠的平台，这些平台能够自然处理硬件和软件故障，行为问题或缺乏知识。基于模型的可靠平台还需要在系统开发过程中应用严格的方法，包括使用正确的构造技术来实现机器人行为。随着机器人的自治水平的提高，提供系统可靠性的提供成本也会增加。我们认为，自主机器人的可靠性可靠性可以从几种认知功能，知识处理，推理和元评估的正式模型中受益。在这里，我们为自动机器人代理的认知体系结构的生成模型提出了案例，该模型订阅了基于模型的工程和可靠性，自主计算和知识支持机器人技术的原则。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

在音频分类中，很少有参数的可区分的听觉过滤库覆盖了硬编码频谱图和原始音频之间的中间立场。LEAF（ARXIV：2101.08596）是一种基于Gabor的过滤库与每通道能量归一化（PCEN）相结合，显示出令人鼓舞的结果，但计算上很昂贵。随着不均匀的卷积内核大小和大步，通过更有效地达到相似的结果，我们可以更有效地达到相似的结果。在六个音频分类任务的实验中，我们的前端以叶子的准确性为3％，但两者都无法始终如一地胜过固定的MEL FilterBank。对可学习音频前端的寻求无法解决。

本文介绍了更轻松的项目及其范围的概念概述。更轻松地专注于通过半自治的移动操纵器在灾难反应方案中支持紧急部队。具体来说，我们检查了操作员对系统的信任以及其使用所产生的认知负荷。我们计划讨论不同的研究主题，探讨共享的自主权，互动设计和透明度与信任和认知负担如何相关。另一个目标是开发非侵入性方法，以使用多级方法在灾难响应的背景下连续衡量信任和认知负荷。该项目由多个学术合作伙伴进行，专门从事人工智能，互动设计和心理学，以及灾难响应设备的工业合作伙伴和最终用户，用于制定项目和实验实验。

近年来，已对变压器进行了积极研究，以预测。尽管在各种情况下经常显示出令人鼓舞的结果，但传统的变压器并非旨在充分利用时间序列数据的特征，因此遭受了一些根本的限制，例如，它们通常缺乏分解能力和解释性，并且既不有效，也没有有效的效率 - 期望。在本文中，我们提出了一种新颖的时间序列变压器体系结构Etsformer，它利用了指数平滑的原理，以改善变压器的时间序列预测。特别是，受到预测时间序列的经典指数平滑方法的启发，我们提出了新型的指数平滑注意力（ESA）和频率注意（FA），以替代香草变压器中的自我发挥机制，从而提高了准确性和效率。基于这些，我们使用模块化分解块重新设计了变压器体系结构，以便可以学会将时间序列数据分解为可解释的时间序列组件，例如水平，增长和季节性。对各种时间序列基准的广泛实验验证了该方法的功效和优势。代码可从https://github.com/salesforce/etsformer获得。

在信息检索（IR）系统中，趋势和用户的兴趣可能会随着时间的推移而变化，改变要建议的请求或内容的分布。由于神经排名越来越依赖于培训数据，因此了解最近IR方法的转移能力在长期地址新域名的转移能力至关重要。在本文中，我们首先提出基于MSMarco语料库的数据集，旨在建模长期的主题以及IR属性驱动的受控设置。然后，我们深入分析最近神经红外模型的能力，同时不断地学习这些流。我们的实证研究突出显示在其中发生灾难性遗忘（例如，任务之间的相似程度，文本长度的特点，学习模型的方式），以便在模型设计方面提供未来的方向。